「AWS re:Invent 2023 Analytics Updates」というタイトルで CM re:Growth 2023 in Sapporo に登壇しました #AWSreInvent #cmregrowth

AWS re:Invent 2023

石川覚

2023.12.15

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

データアナリティクス事業本部コンサルティングチームの石川です。12/14（木）ふりかえり勉強会 CM re:Growth 2023 in Sapporoに参加してAWS re:Invent 2023 Analytics Updateについてお話をさせて頂きました。

登壇資料

re:Inventが始まる11月は、re:Invent期間中の発表に劣らないようなアップデートはあります。re:Inventの前に発表されたけど、すごいアップデートを「予選落ちアップデート」と呼んだりします。とにかく、注目度の高いアップデートについて、かいつまんで紹介しました。

本日の勉強会で紹介できなかったサービスについてはこちらをご参照ください。

Amazon Aurora MySQL（11月にGA）に続き、Zero-ETLをサポートするサービスの追加
Redshiftから各DBのデータにアクセス、ほぼリアルタイムの分析や機械学習が可能になる
「Zero」と名前についているようにETLの複雑なデータパイプラインの構築不要
その他にも
- Amazon DynamoDB から Amazon Opensearch Service（Provision Cluster、Serverless）とのZero-ETLが利用可能（GA）
- Amazon S3 から Amazon Opensearch Service（Provision Cluster）とのZero-ETL がプレビューで利用可能

Redshift Serverlessは、データ量の変化・同時接続ユーザー・クエリの複雑さなどの、ワークロードにおける主要な観点の変化に応じて自動的にスケーリング
内部テストでは、変化のあるワークロードに対して自動でコストパフォーマンスの向上

Amazon Q generative SQL in Amazon Redshift Query Editor V2という、データから抽出したいことを自然言語で問い合わせして、SQLを生成する新機能が発表
生成AI（Generative AI）をSQLに応用した生成SQL（Generative SQL）サービス

Amazon S3 Express One Zoneは、S3 Standardよりも最大10倍優れたパフォーマンス、一貫した1桁ミリ秒のレイテンシで毎秒数十万のリクエストを処理するように設計された新しいS3ストレージクラス
Amazon AthenaとAmazon S3 Express One Zoneストレージクラスに保存されたデータ使用すると、S3 Standardよりも最大2.1倍高速なクエリパフォーマンスの改善すると説明

Amazon S3 Express One Zoneは、S3 Standardよりも最大10倍優れたパフォーマンス、一貫した1桁ミリ秒のレイテンシで毎秒数十万のリクエストを処理するように設計された新しいS3ストレージクラス
Amazon AthenaとAmazon S3 Express One Zoneストレージクラスに保存されたデータ使用すると、S3 Standardよりも最大2.1倍高速なクエリパフォーマンスの改善すると説明

Amazon Q
- セキュリティとプライバシが組み込まれた生成AIアシスタント
- 今後、開発者やデータを利活用するビジネスパーソンも支援する将来的なAmazon DataZoneとの連携を鑑み、ビジネスメタデータを今から登録・充実させることが鍵となる
Amazon Redshift / Redshift Serverless
- Data Sharingの読み書きも可能になり、1つのクラスタに集約する
- OLTPとOLAPの混在するワークロードは、Zero-ETLというアプローチで解決（not HTAP）
- Redshift Serverlessは、データ量の変化・同時接続ユーザー・クエリの複雑さなど、AIが必要に応じて自動的にスケーリング
Amazon S3 Express One Zone
- Athena2.1倍、EMRが4.0倍、SageMaker5.8倍
- 将来的に、他のアナリティクスサービスもパフォーマンス改善が期待できる